Caro sinh ra ở Łódź, theo ngành hóa học ở Berlin tại Trường Cao đẳng Kỹ thuật Hoàng gia Charlottenburg (nay là Đại học Kỹ thuật Berlin) và lấy bằng tiến sĩ tại Đại học Rostock. Từ năm 1895, ông làm việc trong Deutsche Dynamit AG cùng với Adolph Frank, hợp tác phát triển hợp chất calci cyanamide để cố định nitơ (cố định đạm) trong chu trình Frank-Caro. Caro trở thành một nhân tố quan trọng trong ngành công nghiệp cố định đạm và là đối thủ của Fritz Haber.[3]

Caro cũng góp phần sản xuất vũ khí hóa học được quân Đức sử dụng trong Thế chiến thứ nhất.[4] Sau chiến tranh, ông trở thành chủ tịch của Bayerische Stickstoffwerke AG.[5]

Sau khi Hitler lên nắm quyền, ông rời Berlin, di cư qua Thụy Sĩ đến Ý. Caro qua đời năm 1935 và được chôn cất tại Zürich.[6][7]